Goffman sinh ngày 11 tháng 6 năm 1922 tại Mannville, Alberta, Canada, Max Goffman và Anne Goffman, nhũ danh Averbach. Ông xuất thân từ một gia đình người Do Thái Ucraina đã di cư đến Canada vào đầu thế kỷ. Ông có một người chị là Frances Bay, người đã trở thành một nữ diễn viên. Gia đình chuyển đến Dauphin, Manitoba, nơi cha Goffman điều hành một doanh nghiệp may mặc thành công.